深度学习理论的最新目标是确定神经网络如何逃脱“懒惰训练”或神经切线内核（NTK）制度，在该制度中，网络与初始化时的一阶泰勒扩展相结合。尽管NTK是最大程度地用于学习密集多项式的最佳选择（Ghorbani等，2021），但它无法学习特征，因此对于学习包括稀疏多项式（稀疏多项式）的许多类别的功能的样本复杂性较差。因此，最近的工作旨在确定基于梯度的算法比NTK更好地概括的设置。一个这样的例子是Bai和Lee（2020）的“ Quadntk”方法，该方法分析了泰勒膨胀中的二阶项。 Bai和Lee（2020）表明，二阶项可以有效地学习稀疏的多项式。但是，它牺牲了学习一般密集多项式的能力。在本文中，我们分析了两层神经网络上的梯度下降如何通过利用NTK（Montanari和Zhong，2020）的光谱表征并在Quadntk方法上构建来逃脱NTK制度。我们首先扩展了光谱分析，以确定参数空间中的“良好”方向，在该空间中我们可以在不损害概括的情况下移动。接下来，我们表明一个宽的两层神经网络可以共同使用NTK和QUADNTK来适合由密集的低度项和稀疏高度术语组成的目标功能 - NTK和Quadntk无法在他们自己的。最后，我们构建了一个正常化程序，该正规化器鼓励我们的参数向量以“良好”的方向移动，并表明正规化损失上的梯度下降将融合到全局最小化器，这也有较低的测试误差。这产生了端到端的融合和概括保证，并自行对NTK和Quadntk进行了可证明的样本复杂性的改善。
translated by 谷歌翻译
我们介绍伯克利填字游戏求解器，这是一种自动解决填字游戏的最先进方法。我们的系统通过使用神经问题答案模型为每个填字游戏生成答案候选者，然后将loopy信念传播与本地搜索结合在一起，以找到完整的拼图解决方案。与现有方法相比，我们的系统将精确的拼图准确性从《纽约时报》的填字游戏中提高到82％，并获得了无主题难题的99.9％的字母准确性。此外，在2021年，我们系统的混合动力车和现有的博士系统在美国填字游戏中首次优于所有人类竞争对手。为了促进问题回答和填字游戏解决方案的研究，我们分析了系统的剩余错误，并发布了超过600万个问答对的数据集。
translated by 谷歌翻译